1941-1946 beliau berkhidmat dalam Pasukan Sukarelawan Malaya dan Pasukan Gerakan Menentang Jepun. Kemudian menjadi kerani di Selangor. 1957 menjadi Pesuruhjaya Tinggi Malaya ke India .1959 menjadi Ketua Setiausaha di Kementerian Luar Negeri .

Ghazali mula berkecimpung dalam bidang politik dengan menyertai Persatuan Melayu Pahang pada 1946 yang pada mulanya melakukan kerja-kerja kebajikan sebelum diserap memasuki UMNO.Pada tahun 1958 beliau dipilih menjadi Ahli Jawatankuasa Politik Umno sehingga 1978. Beliau pernah beberapa kali menjawat jawatan Ahli Majlis Tertinggi Umno dan merupakan Naib Presiden Umno pada 1981. Ghazali pernah dilantik sebagai Senator pada tahun 1970 hingga 1972. Beliau bertanding dalam Pilihan Raya Umum Malaysia 1974 di kawasan Parlimen Lipis dan menang tanpa bertanding. Beliau pernah bertanding jawatan naib presiden UMNO tetapi tewas pada 1972 dan 1975. 1981 beliau menang jawatan jawatan Naib Presiden UMNO.

Beliau berkhidmat di bawah empat perdana menteri bermula dari zaman Tunku Abdul Rahman sehingga era Tun Dr Mahathir Mohamad.

Perkhidmatannya dalam kabinet agak lama bermula pada tahun 1970 apabila dilantik sebagai Menteri Tugas-tugas Khas (1970). Kemudiannya sebagai Menteri Tugas-tugas Khas dan Penerangan pada April 1972. Sebagai Menteri Tugas-Tugas Khas merangkap Menteri Penerangan Malaysia, beliau bertanggungjawab membentuk , merangka dan melaksanakan Dasar Ekonomi Baru serta merangka Rancangan Malaysia Kedua 1970-1975.

Kira-kira 16 bulan kemudian beliau diberikan kepercayaan sebagai Menteri Dalam Negeri dan Penerangan, di mana jawatan Menteri Dalam Negeri itu dipegangnya sehingga Julai 1981 apabila beliau bertukar ke jawatan Menteri Luar.

Ghazali menjadi Menteri Luar Negeri dari Julai 1981-Julai 1984. Dasar luar semasa zaman Tun Abdul Razak diperkukuhkan dengan pembentukan ICG iaitu Majlis Antara Kerajaan-Kerajaan.

Beliau pernah menjadi pegawai kerajaan dan duta kanan ke Pertubuhan Bangsa-Bangsa Bersatu. Peranan beliau amat berkesan bagi menghadapi kebanjiran pendatang haram Vietnam ke Pulau Bidong, Terengganu pada 1975.

Kepakarannya dalam bidang perhubungan antarabangsa amat terserlah serta dihormati dan ini dapat dilihat melalui jawatan-jawatan yang disandang termasuk Pengerusi Persidangan Asia mengenai persoalan Palestin pada 1983, ahli Suruhanjaya Selatan dan juga pengerusi suruhanjaya yang ditubuhkan bagi membuat cadangan mengenai rombakan dan pengukuhan mekanisme Asean.